Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?
Skill-Use: LLM 在 Agent 框架中真的能使用技能吗？
🧭 Agent 能力评估 · 渐进式技能使用 ★ 深度解读
East China Normal University · Hong Kong University of Science and Technology · Fudan University · Tencent Hunyuan
提出 Skill-Use 基准，从触发、合规、边界三维度评估 LLM Agent 在渐进式披露下自主检索并遵循技能的能力，发现最高 SU 仅 0.613，触发与合规是独立瓶颈，排名依赖框架。
📌 工作参考价值（4 点）
- 技能触发是首要瓶颈，强化名称与描述的区分度：在 Agent 技能库中，技能名和简短描述直接影响触发率。电商/推荐场景下设计技能时，应使用精确、无歧义的元数据，避免与通用话题重叠，降低“不触发”失败。
- 预加载关键步骤可提升触发，但不宜直接暴露全过程：实验表明预加载技能全文可大幅提高触发，但执行合规性改善有限。工程上可对高价值技能预先在 System Message 中隐式注入其执行约束或决策规则，而不必展示全部 SOP，平衡触发与技能保密性。
- 技能库规模影响以“不调用”为主，而非错误调用：增加技能库容量主要导致 Agent 完全放弃调用技能，而非选错技能。因此监控“技能未被触发”比检测“选错技能”更有价值，可设置兜底策略或主动提示。
- 技能合规性与业务结果非线性相关，需设定最低 SU 阈值：任务完成得分在 SU > 0.5 后才转为正向增益，半吊子遵循反而损害结果。实际部署中应设定内部合规门槛，低于此阈值的技能调用可关闭技能库或回退无技能基线。